موتور توصیه‌گر پایتون: تجزیه ماتریس تشریح شد

در دنیای داده‌محور امروز، موتورهای توصیه‌گر در همه جا حضور دارند. از پیشنهاد محصولات در پلتفرم‌های تجارت الکترونیک مانند آمازون و علی‌بابا گرفته تا توصیه فیلم در نتفلیکس یا آهنگ در اسپاتیفای، این سیستم‌ها تجربیات کاربران را شخصی‌سازی کرده و تعامل را افزایش می‌دهند. این مقاله راهنمای جامعی برای ساخت یک موتور توصیه‌گر با استفاده از پایتون و تکنیک قدرتمندی به نام تجزیه ماتریس ارائه می‌دهد.

موتور توصیه‌گر چیست؟

موتور توصیه‌گر نوعی سیستم فیلتر اطلاعات است که ترجیحات کاربر را پیش‌بینی کرده و آیتم‌ها یا محتوایی را که ممکن است برای کاربران جالب باشد، پیشنهاد می‌کند. ایده اصلی این است که رفتار گذشته کاربر (مانند خریدها، امتیازات، تاریخچه مرور) را درک کرده و از آن اطلاعات برای پیش‌بینی ترجیحات آینده او استفاده کنیم.

انواع موتورهای توصیه‌گر:

• فیلترینگ مبتنی بر محتوا: آیتم‌هایی مشابه آنهایی که کاربر در گذشته دوست داشته را توصیه می‌کند. به عنوان مثال، اگر کاربری از تماشای مستندهای تاریخی لذت می‌برد، سیستم ممکن است مستندهای تاریخی دیگری را توصیه کند.
• فیلترینگ مشترک: آیتم‌ها را بر اساس ترجیحات کاربرانی با سلیقه‌های مشابه توصیه می‌کند. اگر دو کاربر به آیتم‌های مشابهی امتیاز بالا داده باشند و یکی از کاربران آیتم جدیدی را دوست داشته باشد، سیستم ممکن است آن آیتم را به کاربر دیگر نیز توصیه کند.
• رویکردهای ترکیبی: فیلترینگ مبتنی بر محتوا و مشترک را ترکیب می‌کند تا از نقاط قوت هر دو بهره‌مند شود.

تجزیه ماتریس: یک تکنیک قدرتمند فیلترینگ مشترک

تجزیه ماتریس یک تکنیک قدرتمند فیلترینگ مشترک است که برای کشف ویژگی‌های پنهانی که امتیازات مشاهده‌شده را توضیح می‌دهند، استفاده می‌شود. ایده اصلی، تجزیه یک ماتریس تعامل کاربر-آیتم به دو ماتریس با ابعاد کمتر است: یک ماتریس کاربر و یک ماتریس آیتم. این ماتریس‌ها روابط زیربنایی بین کاربران و آیتم‌ها را ثبت می‌کنند.

درک ریاضیات پشت تجزیه ماتریس

ماتریس تعامل کاربر-آیتم را با R نشان می‌دهیم، که در آن R_ui نشان‌دهنده امتیازی است که کاربر u به آیتم i داده است. هدف از تجزیه ماتریس، تقریب زدن R به عنوان حاصل‌ضرب دو ماتریس است:

R ≈ P x Q^T

• P ماتریس کاربر است که هر سطر آن نماینده یک کاربر و هر ستون نماینده یک ویژگی پنهان است.
• Q ماتریس آیتم است که هر سطر آن نماینده یک آیتم و هر ستون نماینده یک ویژگی پنهان است.
• Q^T ترانهاده ماتریس آیتم است.

حاصل‌ضرب داخلی یک سطر از P (نماینده یک کاربر) و یک سطر از Q (نماینده یک آیتم)، امتیازی را که آن کاربر به آن آیتم می‌دهد، تقریب می‌زند. هدف، یادگیری ماتریس‌های P و Q به گونه‌ای است که تفاوت بین امتیازات پیش‌بینی‌شده (P x Q^T) و امتیازات واقعی (R) به حداقل برسد.

الگوریتم‌های رایج تجزیه ماتریس

• تجزیه مقادیر منفرد (SVD): یک تکنیک کلاسیک تجزیه ماتریس است که یک ماتریس را به سه ماتریس تجزیه می‌کند: U، Σ، و V^T. در زمینه موتورهای توصیه‌گر، از SVD می‌توان برای تجزیه ماتریس امتیاز کاربر-آیتم استفاده کرد. با این حال، SVD نیازمند این است که ماتریس متراکم باشد (یعنی هیچ مقدار گمشده‌ای نداشته باشد). بنابراین، تکنیک‌هایی مانند جایگزینی مقادیر گمشده اغلب برای پر کردن امتیازات گمشده استفاده می‌شود.
• تجزیه ماتریس غیر منفی (NMF): یک تکنیک تجزیه ماتریس است که در آن ماتریس‌های P و Q محدود به مقادیر غیرمنفی هستند. NMF به ویژه زمانی مفید است که با داده‌هایی سروکار داریم که مقادیر منفی در آن‌ها معنی‌دار نیستند (مانند مدل‌سازی موضوعی اسناد).
• تجزیه ماتریس احتمالی (PMF): یک رویکرد احتمالی برای تجزیه ماتریس است که فرض می‌کند بردارهای پنهان کاربر و آیتم از توزیع‌های گوسی نمونه‌برداری شده‌اند. PMF یک روش اصولی برای مدیریت عدم قطعیت فراهم می‌کند و می‌تواند برای گنجاندن اطلاعات اضافی (مانند ویژگی‌های کاربر، ویژگی‌های آیتم) گسترش یابد.

ساخت یک موتور توصیه‌گر با پایتون: یک مثال عملی

بیایید به یک مثال عملی از ساخت یک موتور توصیه‌گر با استفاده از پایتون و کتابخانه Surprise بپردازیم. Surprise یک scikit پایتون برای ساخت و تحلیل سیستم‌های توصیه‌گر است. این کتابخانه الگوریتم‌های مختلف فیلترینگ مشترک از جمله SVD، NMF و PMF را ارائه می‌دهد.

نصب کتابخانه Surprise

ابتدا، باید کتابخانه Surprise را نصب کنید. می‌توانید این کار را با استفاده از pip انجام دهید:

            pip install scikit-surprise
            

              
                Copy
              
            
          

بارگیری و آماده‌سازی داده‌ها

برای این مثال، از مجموعه داده MovieLens استفاده خواهیم کرد که یک مجموعه داده محبوب برای ارزیابی الگوریتم‌های توصیه‌گر است. کتابخانه Surprise پشتیبانی داخلی برای بارگیری مجموعه داده MovieLens را فراهم می‌کند.

            
from surprise import Dataset
from surprise import Reader

# Load the MovieLens 100K dataset
data = Dataset.load_builtin('ml-100k')

            

              
                Copy
              
            
          

اگر داده‌های خود را دارید، می‌توانید آن را با استفاده از کلاس Reader بارگیری کنید. کلاس Reader به شما امکان می‌دهد فرمت فایل داده خود را مشخص کنید.

            
from surprise import Dataset
from surprise import Reader

# Define the format of your data file
reader = Reader(line_format='user item rating', sep=',', rating_scale=(1, 5))

# Load your data file
data = Dataset.load_from_file('path/to/your/data.csv', reader=reader)

            

              
                Copy
              
            
          

آموزش مدل

اکنون که داده‌ها را بارگیری و آماده کرده‌ایم، می‌توانیم مدل را آموزش دهیم. در این مثال از الگوریتم SVD استفاده خواهیم کرد.

            
from surprise import SVD
from surprise.model_selection import train_test_split

# Split the data into training and testing sets
trainset, testset = train_test_split(data, test_size=0.25)

# Initialize the SVD algorithm
algo = SVD()

# Train the algorithm on the training set
algo.fit(trainset)

            

              
                Copy
              
            
          

انجام پیش‌بینی‌ها

پس از آموزش مدل، می‌توانیم روی مجموعه آزمایشی پیش‌بینی انجام دهیم.

            
# Make predictions on the testing set
predictions = algo.test(testset)

# Print the predictions
for prediction in predictions:
    print(prediction)

            

              
                Copy
              
            
          

هر شیء پیش‌بینی شامل شناسه کاربر، شناسه آیتم، امتیاز واقعی و امتیاز پیش‌بینی‌شده است.

ارزیابی مدل

برای ارزیابی عملکرد مدل، می‌توانیم از معیارهایی مانند ریشه میانگین مربعات خطا (RMSE) و میانگین خطای مطلق (MAE) استفاده کنیم.

            
from surprise import accuracy

# Compute RMSE and MAE
accuracy.rmse(predictions)
accuracy.mae(predictions)

            

              
                Copy
              
            
          

ارائه توصیه‌ها برای یک کاربر خاص

برای ارائه توصیه‌ها برای یک کاربر خاص، می‌توانیم از متد algo.predict() استفاده کنیم.

            
# Get the user ID
user_id = '196'

# Get the item ID
item_id = '302'

# Predict the rating
prediction = algo.predict(user_id, item_id)

# Print the predicted rating
print(prediction.est)

            

              
                Copy
              
            
          

این کد، امتیازی را که کاربر '196' به آیتم '302' می‌دهد، پیش‌بینی می‌کند.

برای توصیه N آیتم برتر به یک کاربر، می‌توانید در میان تمام آیتم‌هایی که کاربر هنوز به آن‌ها امتیاز نداده است، پیمایش کرده و امتیازات را پیش‌بینی کنید. سپس، می‌توانید آیتم‌ها را بر اساس امتیازات پیش‌بینی‌شده مرتب کرده و N آیتم برتر را انتخاب کنید.

            
from collections import defaultdict


def get_top_n_recommendations(predictions, n=10):
    """Return the top N recommendations for each user from a set of predictions."""

    # First map the predictions to each user.
    top_n = defaultdict(list)
    for uid, iid, true_r, est, _ in predictions:
        top_n[uid].append((iid, est))

    # Then sort the predictions for each user and retrieve the k highest ones.
    for uid, user_ratings in top_n.items():
        user_ratings.sort(key=lambda x: x[1], reverse=True)
        top_n[uid] = user_ratings[:n]

    return top_n


top_n = get_top_n_recommendations(predictions, n=10)

# Print the recommended items for each user
for uid, user_ratings in top_n.items():
    print(uid, [iid for (iid, _) in user_ratings])

            

              
                Copy
              
            
          

بهینه‌سازی موتور توصیه‌گر

چندین راه برای بهینه‌سازی عملکرد موتور توصیه‌گر وجود دارد:

تنظیم فراپارامترها

بیشتر الگوریتم‌های تجزیه ماتریس دارای فراپارامترهایی هستند که می‌توان آن‌ها را برای بهبود عملکرد تنظیم کرد. به عنوان مثال، الگوریتم SVD دارای فراپارامترهایی مانند تعداد عوامل (n_factors) و نرخ یادگیری (lr_all) است. می‌توانید از تکنیک‌هایی مانند جستجوی شبکه‌ای (grid search) یا جستجوی تصادفی (randomized search) برای یافتن فراپارامترهای بهینه استفاده کنید.

            
from surprise.model_selection import GridSearchCV

# Define the parameters to tune
param_grid = {
    'n_factors': [50, 100, 150],
    'lr_all': [0.002, 0.005, 0.01],
    'reg_all': [0.02, 0.05, 0.1]
}

# Perform grid search
gs = GridSearchCV(SVD, param_grid, measures=['rmse', 'mae'], cv=3)
gs.fit(data)

# Print the best parameters
print(gs.best_params['rmse'])

# Print the best score
print(gs.best_score['rmse'])

            

              
                Copy
              
            
          

تنظیم‌سازی (Regularization)

تنظیم‌سازی (Regularization) تکنیکی است که برای جلوگیری از بیش‌برازش (overfitting) استفاده می‌شود. بیش‌برازش زمانی رخ می‌دهد که مدل داده‌های آموزشی را بیش از حد خوب یاد می‌گیرد و روی داده‌های دیده‌نشده عملکرد ضعیفی دارد. تکنیک‌های رایج تنظیم‌سازی شامل تنظیم‌سازی L1 و L2 هستند. کتابخانه Surprise پشتیبانی داخلی برای تنظیم‌سازی فراهم می‌کند.

مدیریت مشکل شروع سرد

مشکل شروع سرد زمانی رخ می‌دهد که سیستم اطلاعات محدود یا هیچ اطلاعاتی در مورد کاربران جدید یا آیتم‌های جدید ندارد. این مسئله می‌تواند ارائه توصیه‌های دقیق را دشوار کند. چندین تکنیک برای حل مشکل شروع سرد وجود دارد:

• فیلترینگ مبتنی بر محتوا: از فیلترینگ مبتنی بر محتوا برای توصیه آیتم‌ها بر اساس ویژگی‌های آن‌ها استفاده کنید، حتی اگر کاربر قبلاً با آن‌ها تعامل نداشته باشد.
• رویکردهای ترکیبی: فیلترینگ مشترک را با فیلترینگ مبتنی بر محتوا ترکیب کنید تا از نقاط قوت هر دو بهره‌مند شوید.
• توصیه مبتنی بر دانش: از دانش صریح در مورد کاربران و آیتم‌ها برای ارائه توصیه‌ها استفاده کنید.
• توصیه مبتنی بر محبوبیت: محبوب‌ترین آیتم‌ها را به کاربران جدید توصیه کنید.

مقیاس‌پذیری

برای مجموعه داده‌های بزرگ، تجزیه ماتریس می‌تواند از نظر محاسباتی پرهزینه باشد. چندین تکنیک برای بهبود مقیاس‌پذیری تجزیه ماتریس وجود دارد:

• محاسبات توزیع‌شده: از چارچوب‌های محاسبات توزیع‌شده مانند Apache Spark برای موازی‌سازی محاسبات استفاده کنید.
• نمونه‌برداری: از تکنیک‌های نمونه‌برداری برای کاهش اندازه مجموعه داده استفاده کنید.
• الگوریتم‌های تقریبی: از الگوریتم‌های تقریبی برای کاهش پیچیدگی محاسباتی استفاده کنید.

کاربردهای دنیای واقعی و ملاحظات جهانی

موتورهای توصیه‌گر مبتنی بر تجزیه ماتریس در طیف گسترده‌ای از صنایع و کاربردها استفاده می‌شوند. در اینجا چند نمونه آورده شده است:

• تجارت الکترونیک: توصیه محصولات به کاربران بر اساس خریدهای گذشته و تاریخچه مرور آن‌ها. به عنوان مثال، به کاربری در آلمان که تجهیزات کوهنوردی می‌خرد، ممکن است لباس مناسب، نقشه‌های مسیرهای محلی یا کتاب‌های مرتبط توصیه شود.
• رسانه و سرگرمی: توصیه فیلم‌ها، سریال‌های تلویزیونی و موسیقی به کاربران بر اساس عادات تماشا و گوش دادن آن‌ها. به کاربری در ژاپن که از انیمه لذت می‌برد، ممکن است سریال‌های جدید، ژانرهای مشابه یا کالاهای مرتبط توصیه شود.
• رسانه‌های اجتماعی: توصیه دوستان، گروه‌ها و محتوا به کاربران بر اساس علایق و ارتباطات اجتماعی آن‌ها. به کاربری در برزیل که به فوتبال علاقه‌مند است، ممکن است باشگاه‌های فوتبال محلی، مقالات خبری مرتبط یا گروه‌های هواداران توصیه شود.
• آموزش: توصیه دوره‌ها و مواد آموزشی به دانش‌آموزان بر اساس اهداف یادگیری و عملکرد تحصیلی آن‌ها. به دانشجویی در هند که در رشته علوم کامپیوتر تحصیل می‌کند، ممکن است دوره‌های آنلاین، کتاب‌های درسی یا مقالات پژوهشی توصیه شود.
• سفر و گردشگری: توصیه مقاصد، هتل‌ها و فعالیت‌ها به مسافران بر اساس ترجیحات و تاریخچه سفر آن‌ها. به یک گردشگر از آمریکا که برای سفر به ایتالیا برنامه‌ریزی می‌کند، ممکن است مکان‌های دیدنی محبوب، رستوران‌ها یا رویدادهای محلی توصیه شود.

ملاحظات جهانی

هنگام ساخت موتورهای توصیه‌گر برای مخاطبان جهانی، در نظر گرفتن عوامل زیر مهم است:

• تفاوت‌های فرهنگی: ترجیحات کاربران می‌تواند در فرهنگ‌های مختلف به طور قابل توجهی متفاوت باشد. درک این تفاوت‌ها و تنظیم توصیه‌ها بر اساس آن مهم است. به عنوان مثال، توصیه‌های غذایی برای یک کاربر در آمریکا ممکن است با توصیه‌های یک کاربر در چین متفاوت باشد.
• پشتیبانی از زبان: موتور توصیه‌گر باید از چندین زبان پشتیبانی کند تا به کاربران با پیشینه‌های زبانی مختلف خدمات ارائه دهد.
• حریم خصوصی داده‌ها: رعایت مقررات حریم خصوصی داده‌ها در کشورهای مختلف مهم است. به عنوان مثال، مقررات عمومی حفاظت از داده‌ها (GDPR) در اتحادیه اروپا، سازمان‌ها را ملزم می‌کند قبل از جمع‌آوری و پردازش داده‌های شخصی کاربران، رضایت صریح آن‌ها را کسب کنند.
• مناطق زمانی: هنگام برنامه‌ریزی توصیه‌ها و ارسال اعلان‌ها، مناطق زمانی مختلف را در نظر بگیرید.
• دسترس‌پذیری: اطمینان حاصل کنید که موتور توصیه‌گر برای کاربران دارای معلولیت قابل دسترس است.

نتیجه‌گیری

تجزیه ماتریس یک تکنیک قدرتمند برای ساخت موتورهای توصیه‌گر است. با درک اصول زیربنایی و استفاده از کتابخانه‌های پایتون مانند Surprise، می‌توانید سیستم‌های توصیه‌گر مؤثری بسازید که تجربیات کاربران را شخصی‌سازی کرده و تعامل را افزایش می‌دهند. به یاد داشته باشید که عواملی مانند تنظیم فراپارامترها، تنظیم‌سازی، مدیریت مشکل شروع سرد و مقیاس‌پذیری را برای بهینه‌سازی عملکرد موتور توصیه‌گر خود در نظر بگیرید. برای کاربردهای جهانی، به تفاوت‌های فرهنگی، پشتیبانی از زبان، حریم خصوصی داده‌ها، مناطق زمانی و دسترس‌پذیری توجه کنید تا تجربه کاربری مثبتی را برای همه تضمین کنید.

برای مطالعه بیشتر

• مستندات کتابخانه Surprise: http://surpriselib.com/
• مجموعه داده MovieLens: https://grouplens.org/datasets/movielens/
• تکنیک‌های تجزیه ماتریس: در مورد انواع مختلف و بهینه‌سازی‌های تجزیه ماتریس برای فیلترینگ مشترک تحقیق کنید.